Stochastic Gradient Optimization with Model-Assisted Sampling
基于模型辅助采样的随机梯度优化
🧭 训练优化 · 梯度估计方差削减
University of Turku, Department of Computing
将调查抽样中的模型辅助估计引入小批量梯度计算，构造更低方差的梯度估计器，可无缝嵌入现有优化器
📌 工作参考价值（4 点）
- 训练推荐模型（如 CTR/CVR 预估）时，可用该方法替代默认的均匀小批量采样，降低梯度方差，加速收敛，尤其适于中等维度特征空间场景。
- 与 AdamW 等带动量的优化器组合时，能在约一半训练轮次达到同等或更好泛化，适合大规模工业模型缩短训练周期。
- 实现简单：只需在数据加载器中替换采样逻辑，并维护一个轻量辅助模型（如一个小型预测网络），不改变优化器内部更新规则，工程侵入性低。
- 可借鉴其“辅助信息”思路：在搜索/推荐系统中，利用曝光偏差、用户活跃度等先验知识构建采样权重，进一步降低在线学习中的梯度估计误差。